Vers la fin du IVe siècle, après la conversion au christianisme de l'empereur Constantin (313) et la création de l'Empire byzantin, la Terre d'Israël devint un pays à prédominance chrétienne. Des églises furent construites sur les lieux saints chrétiens à Jérusalem, Bethléem et en Galilée, et des monastères érigés en divers endroits du pays.

Les juifs étaient dépourvus de l'autonomie relative dont ils jouissaient auparavant, ainsi que du droit d'occuper des fonctions publiques ; l'entrée de Jérusalem leur fut interdite sauf un jour par an (à Tisha BeAv, le 9 du mois d'Av) pour se lamenter sur la destruction du Temple.

L'invasion perse de 614 fut soutenue par les juifs inspirés par l'espérance messianique de délivrance. En reconnaissance pour leur aide, ils obtinrent l'administration de Jérusalem, intermède qui ne dura qu'environ trois ans. En effet, l'armée byzantine reprit la ville (en 629) et en expulsa à nouveau ses habitants juifs.

La conquête arabe du pays eut lieu quatre ans après la mort de Mahomet (632) et dura près de quatre siècles, les califes de Damas régnant d'abord, puis ceux de Baghdad et d'Egypte. Au début, les juifs se réinstallèrent à Jérusalem et la communauté juive se vit octroyer le statut des non-musulmans protégés, les dhimmis, qui leur garantissait la sauvegarde de leur vie et de leurs biens et leur accordait la liberté de culte contre le paiement d'une taxe spéciale et d'impôts fonciers.

Mais dès 717, les restrictions imposées aux non-musulmans affectèrent les affaires publiques des juifs ainsi que leurs pratiques religieuses et leur statut juridique. La levée de lourds impôts sur les terres agricoles contraignit bon nombre d'entre eux à quitter les régions rurales pour les villes, où leurs conditions ne s'améliorèrent guère, tandis qu'une discrimination économique de plus en plus marquée obligeait les autres à quitter le pays. Vers la fin du XIe siècle, la communauté juive du pays avait considérablement diminué et perdu de sa cohésion, y compris en matière religieuse.

Pendant les deux siècles qui suivirent, le pays fut dominé par les croisés qui, à l'appel du pape Urbain II, quittèrent l'Europe pour reprendre la Terre sainte aux  mains des infidèles . En juillet 1099, après un siège de cinq semaines, les chevaliers de la première croisade et la populace qui constituait leur armée capturèrent Jérusalem, massacrant la plupart des habitants non-chrétiens. Barricadés dans leurs synagogues, les juifs qui défendaient leur quartier périrent dans des incendies ou furent vendus en esclavage.

Au cours des décennies suivantes, les croisés étendirent leur hégémonie au reste du pays, en partie par des traités et des accords mais la plupart du temps par de sanglantes victoires militaires. Le Royaume latin de Jérusalem fut celui d'une minorité conquérante confinée principalement dans des châteaux forts et des villes fortifiées.

Les croisés ayant inauguré les transports au départ des pays européens, les pèlerinages en Terre sainte devinrent populaires et, de ce fait, des juifs de plus en plus nombreux cherchèrent à retourner dans leur patrie. Des documents d'époque indiquent que 300 rabbins de France et d'Angleterre arrivèrent alors en groupe, certains s'installant à Acco (Acre) et d'autres à Jérusalem.

Après la défaite infligée en 1187 aux croisés par l'armée musulmane sous la conduite de Saladin, les juifs retrouvèrent une certaine liberté, notamment le droit de revenir à Jérusalem. Si les croisés reprirent pied dans le pays après la mort de Saladin (1193), leur présence se limita à un réseau de châteaux forts. La domination des croisés dans le pays prit fin après la défaite définitive que leur infligèrent en 1291 les Mameluks, caste militaire musulmane arrivée au pouvoir en Egypte.

Sous les Mamelukes, le pays devint une province arriérée, dirigée depuis Damas. Acre, Jaffa et d'autres ports furent détruits par crainte de nouvelles croisades et le commerce maritime aussi bien que le commerce par voie de terre furent interrompus. A la fin du Moyen-Age, les villes du pays étaient pratiquement en ruines, la majeure partie de Jérusalem abandonnée et la petite communauté juive fut plongée dans la misère.

La période de déclin du régime mameluke fut marquée par des troubles économiques et politiques, des épidémies, des invasions de criquets et des tremblements de terre dévastateurs.

Après la conquête ottomane en 1517, le pays fut divisé en quatre districts, administrativement rattachés à la province de Damas et gouvernés depuis Istanbul. Au début de la période ottomane, un millier de familles juives vivaient dans le pays, principalement à Jérusalem, Naplouse, Hébron, Gaza, Safed et dans des villages de Galilée. La communauté était constituée de descendants de juifs qui avaient toujours vécu dans le pays, ainsi que d'immigrants venus d'Afrique du Nord et d'Europe.

Jusqu'à la mort du sultan Soliman le Magnifique en 1566, une bonne administration améliora la situation et stimula l'immigration juive. Quelques nouveaux venus s'installèrent à Jérusalem, mais la majorité se rendit à Safed où, vers le milieu du XVIe siècle, la population juive recensait 10 000 âmes ; la ville était devenue un centre textile florissant en même temps que le foyer d'une intense activité intellectuelle.

Durant cette période, l'étude de la Kabbale (mystique juive) s'y développe et les commentaires de la Loi juive, codifiés dans le Choulhan Aroukh et enseignés dans les maisons d'études de Safed, se répandent dans toute la diaspora.

Avec la détérioration de l'administration ottomane, le pays se retrouva dans un état d'abandon quasi-total. A la fin du XVIIIe siècle, la plupart des terres appartenaient à des propriétaires absents et étaient affermées à de pauvres tenanciers. La fiscalité était aussi boiteuse qu'arbitraire. Les grandes forêts de Galilée et du mont Carmel furent déboisées ; les marécages et le désert gagnèrent les terres arables.

Au XIXe siècle, cette arriération médiévale céda progressivement la place aux premiers signes de progrès, diverses puissances occidentales intriguant pour y prendre pied, souvent par l'entremise d'activités missionnaires. Des savants britanniques, français et américains entreprirent des études d'archéologie biblique ; la Grande-Bretagne, la France, la Russie, l'Autriche et les Etats-Unis ouvrirent des consulats à Jérusalem. Des paquebots commencèrent à assurer des liaisons régulières avec l'Europe et des relations postales et télégraphiques furent établies ; la première route reliant Jérusalem à Jaffa fut construite. Le pays redevint un carrefour commercial entre trois continents et sa renaissance fut accélérée par le percement du canal de Suez.

Les conditions des juifs du pays se trouvèrent améliorées et leur nombre s'accrut considérablement. Vers le milieu du siècle, le surpeuplement à l'intérieur de l'enceinte de Jérusalem détermina les juifs à construire le premier quartier hors des murailles (1860) et, les deux décennies suivantes, à en ajouter sept autres qui allaient former le noyau de la ville nouvelle. En 1870, la population de Jérusalem était majoritairement juive. Des terres agricoles étaient acquises dans tout le pays et de nouveaux villages furent fondés. L'hébreu, longtemps réservé à la liturgie et à la littérature, redevint langue vivante. La scène était prête pour l'émergence du mouvement sioniste.

Le sionisme, mouvement de libération nationale du peuple juif, tire son nom de Sion, synonyme traditionnel de Jérusalem et de la Terre d'Israël. L'idéal sioniste de rédemption du peuple juif sur sa terre ancestrale s'enracine dans la nostalgie et le profond attachement à la Terre d'Israël qui s'exprimèrent sans discontinuer durant des siècles chez les juifs de diaspora.

Le sionisme politique est né en réponse à l'oppression et à la persécution récurrentes des juifs d'Europe orientale et aux désillusions croissantes suscitées par l'émancipation en Europe occidentale qui n'avait jamais mis fin à la discrimination, ni permis l'intégration réelle des juifs dans les sociétés au sein desquelles ils vivaient. Il trouva son expression officielle dans la création de l'Organisation sioniste (1897) lors du premier congrès sioniste convoqué par Théodore Herzl à Bâle. Le programme du mouvement sioniste contenait des éléments idéologiques et pratiques visant à promouvoir le retour des juifs dans leur patrie ancestrale ; à permettre la renaissance sociale, culturelle, économique et politique de la nation juive ; à obtenir un foyer internationalement reconnu et juridiquement garanti pour le peuple juif dans sa patrie, où les juifs échappant aux persécutions, pourraient épanouir leur identité propre.

Inspirés par l'idéologie sioniste, des juifs d'Europe orientale arrivèrent dans le pays à la fin du XIXe et au début du XXe siècle en deux vagues principales. Déterminés à restaurer leur patrie en labourant la terre, ces pionniers défrichèrent les terres abandonnées, construisirent de nouvelles localités et jetèrent les bases de ce qui allait devenir une économie agricole florissante.

Les nouveaux venus vivaient dans des conditions extrêmement pénibles : l'administration ottomane leur était hostile et les opprimait ; les communications et les transports étaient rudimentaires et dangereux ; les marécages provoquaient des épidémies mortelles de paludisme et la terre elle-même pâtissait de siècles d'abandon. Les achats de terres étaient limités et la construction soumise à l'obtention d'un permis délivré seulement à Istanbul.
Toutes ces difficultés entravaient le développement du pays mais ne l'arrêtèrent pas. Lorsque la Première Guerre mondiale éclata (1914), le nombre de juifs dans le pays s'élevait à 85 000, alors qu'ils n'étaient que 5 000 au début du XVIe siècle.

En décembre 1917, les forces britanniques sous le commandement du général Allenby pénétrèrent à Jérusalem, mettant ainsi fin à quatre siècles de domination ottomane. Parmi ces forces, les trois bataillons de la Légion juive qui recensaient  des milliers de volontaires recrutés dans le pays.

En juillet 1922, la Société des Nations confia à la Grande-Bretagne un Mandat sur la Palestine, (le nom qui désignait alors le pays). Reconnaissant les liens historiques du peuple juif avec la Palestine, la SDN  demandait à la Grande-Bretagne de faciliter la création d'un Foyer national juif dans ce pays. Deux mois plus tard, en septembre 1922, le Conseil de la Société des Nations et la Grande-Bretagne décidèrent que les dispositions tendant à créer un Foyer national juif ne s'appliquaient pas à la région située à l'est du Jourdain, qui constituait les trois quarts du territoire du Mandat et qui devint par la suite le Royaume Hashémite de Jordanie.

L'immigration

Motivés par l'idélogie sioniste et encouragés par la  sympathie britannique à l'égard des aspirations sionistes exprimées par  la Déclaration du ministre des Affaires étrangères Lord Balfour (1917), des immigrants arrivent par vagues successives dans le pays entre 1919 et 1939, contribuant chacune à divers aspects de la communauté juive en plein essor. Quelque 35 000 juifs arrivés entre 1919 et 1923, principalement de Russie, exercèrent une forte influence sur le caractère et l'organisation de la société pour les années à venir.

Ces pionniers posèrent les bases de l'infrastructure sociale et économique du pays, développant l'agriculture, créant des formes communautaires de peuplement rural uniques en leur genre - le kibbouts et le moshav - et fournissant la main d'œuvre indispensable à la construction de logements et de routes.

La vague suivante, d'environ 60 000 personnes, arrivée principalement de Pologne entre 1924 et 1932, contribua particulièrement au développement de la vie urbaine. Ces immigrants s'installèrent surtout à Tel-Aviv, Haïfa et Jérusalem où ils créèrent de petites entreprises, des sociétés de construction et des industries légères.

La dernière grande vague d'immigration qui précéda la Seconde Guerre mondiale, qui comptait environ 165 000 personnes, eut lieu dans les années 1930 après la prise du pouvoir par Hitler en Allemagne. Les nouveaux immigrants, dont nombre d'universitaires et techniciens, constituèrent le premier apport important venant d'Europe centrale et occidentale. Leur éducation, leurs connaissances et leur expérience contribuèrent à élever le niveau des entreprises, à améliorer les conditions de vie rurale et urbaine, et à enrichir la vie culturelle de la communauté. 
 

L'administration mandataire

L'autorité mandataire britannique accorda aux communautés juive et arabe le droit de gérer leurs affaires intérieures. Utilisant ce droit, la communauté juive (ou yishouv), élut en 1920 une instance administrative autonome représentant les partis politiques existants, qui se réunissait chaque année pour faire le bilan de ses activités et élire le Conseil national (Vaad léoumi) chargé d'appliquer sa politique et de réaliser ses projets. Financés par des ressources locales et des fonds collectés dans le monde juif, ces organismes créèrent et administrèrent un réseau national d'institutions éducatives, religieuses, sanitaires et sociales. En 1922, conformément aux dispositions du Mandat, une  Agence Juive  fut créée pour représenter le peuple juif auprès des autorités britanniques, des gouvernements étrangers et des organisations internationales.